PAR: Progress-Aligned Recurrence for Length Generalization in State Tracking
PAR：面向状态跟踪长度泛化的进度对齐循环方法
🧭 循环语言模型长度外推训练
Ant International · National University of Singapore
训练迭代 k 预测前 k 步状态并锚定范数，使 0.5B 模型在状态跟踪上将外推因子提升至 16 倍
📌 工作参考价值（3 点）
- 在 Agent 多步任务或长会话状态跟踪中，可引入进度对齐中间监督：让模型在每一步/迭代预测已执行操作后的状态，而非只给最终答案，能显著提升长序列上的准确率。可结合 prefix self-distillation 用仅有最终结果的数据构造中间标签。
- 对循环状态（如 RNN 隐状态、KV cache 或累加器）做范数归一化：将每次更新后的状态缩放到与首次迭代相同的范数尺度，防止数值漂移，这是长度外推的关键 trick，可在长上下文或多轮对话状态缓存中尝试。
- 学习一个 completion readout 或 early exit 模块，让模型自行判断何时输出答案，避免固定深度或人工设定停止条件，适合在线推荐/对话中动态控制计算量。